R2QRec: Learning Recommendation Queries from Retrieval Feedback
R2QRec：从检索反馈中学习推荐查询
🧭 生成式推荐 · 检索反馈强化学习 ★ 深度解读
快手科技 · 香港浸会大学
用固定检索器构造可检索 query 监督，并以 RRF 融合排名反馈优化 query 生成器
📌 工作参考价值（4 点）
- 可借鉴 retrieval-verified SFT 做 query/文案生成：在无法标注“正确 query”的场景，先用 LLM 生成候选 query，再用固定 retriever 对 target item 的命中 rank 过滤，只保留能检索到 target 的表达作为 SFT 数据；比直接拟合商品/内容标题更贴合线上检索行为。
- 用固定检索器 + RRF 融合后 target rank 作为奖励，可在电商/广告搜索推荐中直接复用：让线上 ES/向量召回服务执行当前 policy 的 query set，取 target item 在融合列表中的 rank，奖励设为 -log(1+rank)，再接 GRPO，无需单独训练 reward model。
- 工程实现上只训练 LoRA，冻结 LLM backbone、retriever 和 item index；query generator 不枚举 item，推理成本主要在生成，检索可走预计算 item embedding + 近似索引，适合大 catalog 冷启动和线上迭代。
- 多 query + RRF 是轻量但有效的召回融合方式；query 数 K 可以推理期灵活调整而不改变 checkpoint。该方法还显示 query generator 的跨域迁移能力，新域/冷启动时可直接用其他域训练好的 generator，比重新训练 ID 类模型更易复用。